Năm 1841, Tổng thống John Tyler bổ nhiệm Spencer là Bộ trưởng Chiến tranh theo chính quyền của ông, sau khi John Bell từ chức. Khi đang làm Bộ trưởng Chiến tranh, ông đề xuất một chuỗi các bài viết mở rộng từ Council Bluffs, Iowa đến sông Columbia. Ông cũng đề nghị chính phủ tuân thủ các thỏa thuận được thực hiện bởi các chỉ huy quân đội trong lĩnh vực bồi thường của người da đỏ Creek, người đã bị buộc phải di chuyển về phía tây của sông Mississippi. Ngày 1 tháng 12 năm 1842, con trai ông mười chín tuổi, Philip Spencer, một hải quân chuẩn úy, đã được thực hiện mà không cần tòa án quân sự cùng với hai thủy thủ khác trên tàu USS brig Somers vì bị cáo buộc cố gắng nổi loạn.

Năm 1843, Spencer được bổ nhiệm làm Bộ trưởng Ngân khố sau khi Walter Forward từ chức. Như Bộ trưởng Ngân khố, ông còn bận tâm với các thuế quan và tin rằng thâm hụt và chi tiêu liên bang khác nên được tài trợ bởi thuế nhập khẩu hơn là thuế nội địa, điều mà ông đã buộc phải công bố cho năm tài chính vào năm 1843. Các khoản chi của kho bạc đã vượt biên lai của nó và ông chủ trương thuế nhập khẩu bổ sung vào bài viết như cà phê và trà. Để tài trợ cho thâm hụt liên bang, ông tham gia vào các vấn đề gây tranh cãi của Kho bạc Notes. Ông cũng tiếp tục phát triển một kế hoạch, ban đầu được khởi xướng bởi Forward, một Hội đồng quản trị kho bạc để giữ và giải ngân quỹ công cộng nêu lên nhiệm vụ. Các hóa đơn Bộ trưởng Ngân khố, trong đó phản ánh sự quan tâm liên tục trong một số hình thức của hệ thống Kho bạc độc lập, không do một cuộc xung đột chính trị trong Quốc hội Hoa Kỳ.